Anomaly recognition for intrusion detection on emergent monitoring environments

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Ingeniería del Software e Inteligencia Artificial, leída el 19/12/2018La proteccion de la informacion y el ciberespacio se ha convertido en un aspecto esencial en el soporte que garantiza el avance hacia los principales desafíos que plantean la sociedad de la informacion y las nuevas tecnologías. Pero a pesar del progreso en esta area, la eficacia de los ataques dirigidos contra sistemas de la informacion ha aumentado drasticamente en los ultimos años. Esto es debido a diferentes motivos: en primer lugar, cada vez mas usuarios hacen uso de tecnologías de la informacion para llevar a cabo actividades que involucren el intercambio de datos sensibles. Por otro lado, los atacantes cada vez disponen de una mayor cantidad de medios para la ejecucion de intentos de intrusion. Finalmente, es de especial relevancia la evolucion de los escenarios de monitorizacion. Este hecho es propiciado por el avance tecnologico, dando lugar a sistemas de computo mucho mas complejos, con mayor capacidad de procesamiento y que son capaces de manejar informacion masiva proporcionada por fuentes de diferente naturaleza...The security on information and cyberspace has become a fundamental component of the support that guarantees progress towards the main challenges posed by the information society and the new technologies. But despite progress in this research field, the effectiveness of the attacks against information systems has increased dramatically in recent years. This is due to different reasons: firstly, more and more users make use of information technologies to carry out activities that involve exchanges of sensitive data. On the other hand, attackers dispose an increasable amount of means for executing intrusion attempts. Finally, is of particular relevance the evolution of the protected environment, which is fostered by technological advances, hence giving rise to much more sophisticated computer systems, with greater processing capacity and which are able to handle massive information provided by sources of varying nature...Fac. de InformáticaTRUEunpu

Sistema de detección de atacantes enmascarados basado en técnicas de alineamiento de secuencias

Los ataques enmascarados constituyen la actividad malintencionada perpetrada a partir de robos de identidad, entre la que se incluye la escalada de privilegios o el acceso no autorizados a activos del sistema. Este trabajo propone un sistema de detección de atacantes enmascarados mediante la observación de las secuencias de acciones llevadas a cabo por los usuarios legítimos del sistema. La clasificación de la actividad monitorizada es modelada y clasificada en base a algoritmos de alineamiento de secuencias locales. Para la validación del etiquetado se incorpora la prueba estadística no paramétrica de Mann-Whitney. Esto permite el análisis de secuencias en tiempo real. La experimentación realizada considera los conjuntos de muestras de Schonlau. La tasa de acierto al detectar ataques enmascarados es 98,3% y la tasa de falsos positivos es 0,77 %

Obfuscation of Malicious Behaviors for Thwarting Masquerade Detection Systems Based on Locality Features

In recent years, dynamic user verification has become one of the basic pillars for insider threat detection. From these threats, the research presented in this paper focuses on masquerader attacks, a category of insiders characterized by being intentionally conducted by persons outside the organization that somehow were able to impersonate legitimate users. Consequently, it is assumed that masqueraders are unaware of the protected environment within the targeted organization, so it is expected that they move in a more erratic manner than legitimate users along the compromised systems. This feature makes them susceptible to being discovered by dynamic user verification methods based on user profiling and anomaly-based intrusion detection. However, these approaches are susceptible to evasion through the imitation of the normal legitimate usage of the protected system (mimicry), which is being widely exploited by intruders. In order to contribute to their understanding, as well as anticipating their evolution, the conducted research focuses on the study of mimicry from the standpoint of an uncharted terrain: the masquerade detection based on analyzing locality traits. With this purpose, the problem is widely stated, and a pair of novel obfuscation methods are introduced: locality-based mimicry by action pruning and locality-based mimicry by noise generation. Their modus operandi, effectiveness, and impact are evaluated by a collection of well-known classifiers typically implemented for masquerade detection. The simplicity and effectiveness demonstrated suggest that they entail attack vectors that should be taken into consideration for the proper hardening of real organizations

Sistema de deteccíón de anomalías de red basado en el procesamiento de la Carga Útil [Payload]

Los sistemas actuales de detección de anomalías basados en la carga útil pasan por serias dificultades a la hora de defenderse frente a ataques de tipo mimicry, así como ataques día cero, pudiendo poner en serio peligro los sistemas protegidos. El sistema propuesto en este documento, como preprocesador del IDS Snort, se basa en la correlación entre instrucciones de un mismo ataque para defenderse frente a ataques polimorficos, así como en los patrones de ataques ya conocidos, pudiendo así protegerse de ataques de reciente creación, dado que basan parte de su código en algún ataque conocido. Como método para conseguir estos objetivos se han evaluado diferentes vías que se desarrollan a lo largo de este documento. OpenMP nos proporciona paralelismo en arquitecturas de memoria compartida para acelerar el procesamiento de los paquetes, mientras que se han optimizado ciertas secciones críticas del proceamiento, así como del almacenamiento de las estructuras necesarias para almacenar la información generada. Se ha evaluado el rendimiento de la nueva implementación con tráfico real proveniente de la red de la UCM, dichos resultados arrojan interesantes observaciones sobre el algoritmo. Como líneas de investigación en progreso quedaría transformar las secciones críticas del procesamiento a GPGPU, ya sea CUDA u OpenCL, así como el uso de sistemas de correlación de alertas para descargar de trabajo al IDS. [ABSTRACT] Nowadays payload anomaly based detection systems go through serious difficulties when facing mimicry type attacks, as well as zero day attacks, putting protected systems on jeopardy. The system proposed on this document, as a Snort preprocessor, is based on attack instructions correlation to defend against polymorphic attacks, aditionally the use of well known attack patterns allows us to protect the network against new attacks, since a part of their code relies on already known attacks. Different ways of developement have been evaluated when pursuing these goals, being all of them presented troughout this document. While OpenMP provides us with enhaced performance on the processing of packages by using shared memory parallelism, critical sections of the processing algorithm have been improved, as well as the storage of the necessary data structures to store all of the generated information. Performance of the new implementation has been tested with real traffic from the UCM net, these results show up interesting observations about the algorithm. As current progress research lines it is important to highlight the implementation on GPGPU, CUDA or OpenCL, of critical parts of the processing algorithm, as well as the use of alert correlation systems to relieve the IDS of a part of its workload

Benchmark-Based Reference Model for Evaluating Botnet Detection Tools Driven by Traffic-Flow Analytics

Botnets are some of the most recurrent cyber-threats, which take advantage of the wide heterogeneity of endpoint devices at the Edge of the emerging communication environments for enabling the malicious enforcement of fraud and other adversarial tactics, including malware, data leaks or denial of service. There have been significant research advances in the development of accurate botnet detection methods underpinned on supervised analysis but assessing the accuracy and performance of such detection methods requires a clear evaluation model in the pursuit of enforcing proper defensive strategies. In order to contribute to the mitigation of botnets, this paper introduces a novel evaluation scheme grounded on supervised machine learning algorithms that enable the detection and discrimination of different botnets families on real operational environments. The proposal relies on observing, understanding and inferring the behavior of each botnet family based on network indicators measured at flow-level. The assumed evaluation methodology contemplates six phases that allow building a detection model against botnet-related malware distributed through the network, for which five supervised classifiers were instantiated were instantiated for further comparisons—Decision Tree, Random Forest, Naive Bayes Gaussian, Support Vector Machine and K-Neighbors. The experimental validation was performed on two public datasets of real botnet traffic—CIC-AWS-2018 and ISOT HTTP Botnet. Bearing the heterogeneity of the datasets, optimizing the analysis with the Grid Search algorithm led to improve the classification results of the instantiated algorithms. An exhaustive evaluation was carried out demonstrating the adequateness of our proposal which prompted that Random Forest and Decision Tree models are the most suitable for detecting different botnet specimens among the chosen algorithms. They exhibited higher precision rates whilst analyzing a large number of samples with less processing time. The variety of testing scenarios were deeply assessed and reported to set baseline results for future benchmark analysis targeted on flow-based behavioral patterns

An Approach to Data Analysis in 5G Networks

5G networks expect to provide significant advances in network management compared to traditional mobile infrastructures by leveraging intelligence capabilities such as data analysis, prediction, pattern recognition and artificial intelligence. The key idea behind these actions is to facilitate the decision-making process in order to solve or mitigate common network problems in a dynamic and proactive way. In this context, this paper presents the design of Self-Organized Network Management in Virtualized and Software Defined Networks (SELFNET) Analyzer Module, which main objective is to identify suspicious or unexpected situations based on metrics provided by different network components and sensors. The SELFNET Analyzer Module provides a modular architecture driven by use cases where analytic functions can be easily extended. This paper also proposes the data specification to define the data inputs to be taking into account in diagnosis process. This data specification has been implemented with different use cases within SELFNET Project, proving its effectiveness.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaTRUEUnión Europea. Horizonte 2020pu

Detección de intrusiones basada en modelado de red resistente a evasión por técnicas de imitación

Los sistemas de red emergentes han traído consigo nuevas amenazas que han sofisticado sus modos de operación con el fin de pasar inadvertidos por los sistemas de seguridad, lo que ha motivado el desarrollo de sistemas de detección de intrusiones más eficaces y capaces de reconocer comportamientos anómalos. A pesar de la efectividad de estos sistemas, la investigación en este campo revela la necesidad de su adaptación constante a los cambios del entorno operativo como el principal desafío a afrontar. Esta adaptación supone mayores dificultades analíticas, en particular cuando se hace frente a amenazas de evasión mediante métodos de imitación. Dichas amenazas intentan ocultar las acciones maliciosas bajo un patrón estadístico que simula el uso normal de la red, por lo que adquieren una mayor probabilidad de evadir los sistemas defensivos. Con el fin de contribuir a su mitigación, este artículo presenta una estrategia de detección de intrusos resistente a imitación construida sobre la base de los sensores PAYL. La propuesta se basa en construir modelos de uso de la red y, a partir de ellos, analizar los contenidos binarios de la carga útil en busca de patrones atípicos que puedan evidenciar contenidos maliciosos. A diferencia de las propuestas anteriores, esta investigación supera el tradicional fortalecimiento mediante la aleatorización, aprovechando la similitud de paquetes sospechosos entre modelos legítimos y de evasión previamente construidos. Su eficacia fue evaluada en las muestras de tráfico DARPA’99 y UCM 2011, en los que se comprobó su efectividad para reconocer ataques de evasión por imitación.Emerging network systems have brought new threats that have sophisticated their modes of operation in order to go unnoticed by security systems, which has led to the development of more effective intrusion detection systems capable of recognizing anomalous behaviors. Despite the effectiveness of these systems, research in this field reveals the need for their constant adaptation to changes in the operating environment as the main challenge to face. This adaptation involves greater analytical difficulties, particularly when dealing with threats of evasion through imitation methods. These threats try to hide malicious actions under a statistical pattern that simulates the normal use of the network, so they acquire a greater probability of evading defensive systems. In order to contribute to its mitigation, this article presents an imitation-resistant intrusion detection strategy built on the basis of PAYL sensors. The proposal is based on building network usage models and, from them, analyzing the binary contents of the payload in search of atypical patterns that can show malicious content. Unlike previous proposals, this research overcomes the traditional strengthening through randomization, taking advantage of the similarity of suspicious packages to previously constructed legitimate and evasion models. Its effectiveness was evaluated in 1999 DARPA and 2011 UCM traffic samples, in which it was proven effective in recognizing imitation evasion attacks

Aceleración Hardware en entornos de Ciberseguridad

En este trabajo presentamos la construcción con Systems on a chip (SoCs) de un clúster de bajo consumo de energía y coste, que ejecuta un algoritmo de aprendizaje sobre el dataset introducido. Actualmente existen diferentes tipos de clúster, en nuestro caso estará formado por SoCs de bajo consumo y coste. Las placas utilizadas son DE1-SOC de Altera, en este tipo de SoC se pueden introducir diferentes sistemas operativos. Para este proyecto hemos decidido usar la imagen que tiene la versión más reciente del kernel de Linux que es la 4.5. Para nuestro trabajo vamos a ejecutar un algoritmo de aprendizaje automático, en concreto SVM sobre un dataset llamado KDDCUP`99 el cual contiene un análisis del tráfico en distintas redes en las que se han llevado ataques y otras en las que es un tráfico normal. Para esto nos ayudaremos de la librería libsvm la cual es una implementación en distintos lenguajes de una SVM, en nuestro caso en concreto usaremos la versión en C++ para realizar el entrenamiento de SVM en el procesador ARM de las placas DE1-SOC. Finalmente, hemos procedido a hacer una comparativa de los datos de tiempo empleado en la ejecución y tasa de acierto que hemos logrado desde la utilización de una Workstation de altas prestaciones hasta la utilización del clúster con 6 nodos, donde hemos podido comprobar que la capacidad de acierto es mayor en la ejecución de la Workstation, pero sin embargo la ganancia de tiempo que logramos con el clúster de 4 ó 5 nodos hace que sean mejores opciones